Lê Đức Anh lập gia đình lần đầu với bà Phạm Thị Anh (tự Bảy Anh, sinh năm 1925, mất 2011).[25][26] Bà Phạm Thị Anh là con của một điền chủ nhỏ ở huyện Bến Cát, Bình Dương. Ông và bà có với nhau 2 người con. Người con gái đầu mất hai ngày sau khi sinh do sinh thiếu tháng và phải chạy giặc. Người con gái thứ 2 tên Lê Xuân Hồng sinh năm 1951 ở xã An Tây, huyện Bến Cát,[27] là Tiến sĩ tâm lý học, nguyên là Hiệu trưởng Trường Cao đẳng Sư phạm mẫu giáo Trung ương 3 (nay là Trường Cao đẳng Sư phạm Trung ương Thành phố Hồ Chí Minh), nghỉ hưu năm 2005.[5][25] Sau hiệp định Genève 1954, ông tập kết ra Bắc còn bà vẫn ở lại miền Nam. Sau khi ra Bắc, trong cuộc "chỉnh huấn, chỉnh quân" do cố vấn Trung Quốc chỉ đạo, ông bị kiểm điểm do lấy vợ thuộc thành phần địa chủ tư sản và phải tuyên bố "ly khai với gia đình vợ". Ở miền Nam, bà Bảy Anh nhận được tin này nhưng không đi bước nữa. Năm 2009 ông Anh và bà Bảy Anh đã gặp lại nhau sau gần 60 năm xa cách tại nhà riêng của bà Anh ở Bến Cát,Bình Dương.[6][26]

Năm 1956, Lê Đức Anh kết hôn với bà Võ Thị Lê (sinh năm 1928, tại xã Quế Phong, huyện Quế Sơn, tỉnh Quảng Nam, mất ngày 18 tháng 11 năm 2016 tại Bệnh viện Trung ương Quân đội 108, Hà Nội).[28] Bà Lê là bác sĩ y khoa, công tác tại Bệnh viện Việt Xô Hà Nội. Bà Lê đã có một con gái với chồng trước tên là Huỳnh Thị Lệ Hạnh, sinh năm 1950, là kỹ sư thông tin, cán bộ hàng không, nay đã nghỉ hưu.[25] Ông Lê Đức Anh và bà Võ Thị Lê có với nhau 2 người con:

• Người con đầu là Lê Mạnh Hà (sinh năm 1957), nguyên là Phó Chủ nhiệm Văn phòng Chính phủ, nghỉ hưu từ 1 tháng 11 năm 2017[21]
• Người con gái thứ hai ông cũng đặt tên là Lê Xuân Hồng, sinh năm 1959, Cử nhân kinh tế, nguyên là Cục phó Cục Hải quan TPHCM, nghỉ hưu tháng 11 năm 2016[5]

Các con của Lê Đức Anh đều là đảng viên Đảng Cộng sản Việt Nam.[25][26]